#Long-Context Training

3 篇

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

抹平长上下文 MoE 训练的所有显存峰值

🧭 长上下文 MoE 训练显存优化

Salesforce AI Research

针对长上下文 MoE 训练四大显存瓶颈提出四种精确调度，将 120B-667B 模型训练扩展到 1M 上下文，吞吐最高提升 10.4 倍

📌 工作参考价值（4 点）

若在业务中训练长上下文 MoE（如融合用户长期行为序列、Agent 记忆的推荐/广告模型），优先采用固定 GPU working set 的调度思路，而不是只看平均显存；PipelinedLLEP 与 Ring-DTP 都能在不改精度下显著压峰值。
OffloadStreamAdamW 将 CPU optimizer offload 的串行 Adam 改为 bucket 流水线，能直接加速大规模 embedding/排序模型训练中的 offload 更新；若你已用 CPU offload 放优化器状态，可参照其分桶流水实现。
SCO 只把 checkpoint 边界最占显存的长生命周期张量 offload 到 CPU，适合处理用户长序列的生成式推荐/Agent 轨迹训练，能在基本不增加复杂度的前提下扩大 context 长度。
这些方法只改变执行顺序和搬运粒度，梯度与 loss 严格一致，便于在 FSDP/Megatron 等框架上增量实现，风险低。

Training | 2026-09-12 | HF Daily | score 6/10

Motif 3：分组差分潜注意力与细粒度 MoE 的高效 LLM

🧭 大模型架构优化 · 稀疏 MoE ★ 深度解读

Motif Technologies

提出 GDLA 注意力及 384 选 8 稀疏 MoE，结合在线蒸馏实现高效 LLM 推理与多能力整合

📌 工作参考价值（4 点）

KV 缓存压缩用于 Agent 长记忆：GDLA 结合差分注意力与 MLA，将 KV 缓存降低至 16 个潜表示头，显著减少多轮 Agent 交互的显存占用，可直接启发推荐系统中的大模型会话 bot 或长期用户建模。
细粒度专家路由与负载均衡：384 选 8 的稀疏 MoE 配合 sigmoid 路由、辅助损失退火等策略，确保专家充分利用且避免崩溃，可迁移到大规模推荐模型的混合专家路由设计。
多教师在线蒸馏聚合能力：用 6 个 RL 专精教师与 1 个 SFT 软件工程教师进行 MOPD 蒸馏，得到兼具推理、编码、工具使用能力的统一模型，方法可直接用于电商 Agent 能力集成，将细分任务专家合并至单一服务模型。
MXFP8 低精度训练与通信优化：专家激活预量化、梯度同步 BF16、免 All-Gather 权重保留等技巧，降低显存和通信成本，对推荐系统中需要大规模 GPU 集群稀疏训练的团队有实用价值。

LLM | 2026-08-09 | HF Daily | score 8/10

LongStraw：固定GPU预算下的超长上下文RL训练

🧭 RL训练系统优化·长上下文 ★ 深度解读

MindLab · Fudan University

通过分离长提示状态捕获和串行响应回放，在固定GPU数下将GRPO训练上下文扩展至200万token以上

📌 工作参考价值（4 点）

长序列推荐模型训练：若需将用户长期行为序列（如200万长度）作为条件训练生成式推荐或Agent模型，可借鉴LongStraw的“捕获一次、回放多次”模式：用无梯度前向计算并保存固定大小的循环状态或压缩的KV页，然后仅对候选物品序列进行可微分回放，大幅削减峰值显存。
混合注意力架构选型：Qwen的48个循环层+16个全注意力层的设计启示：对于长历史处理，用循环层（如Gated DeltaNet）避免KV长度线性增长，仅保留少量全注意力层存储必要细粒度上下文，可平衡效果与显存。
MoE训练中的多维并行布局：GLM同时使用CP（上下文并行）划分长序列和EP（专家并行）划分路由专家，可在固定机器数下扩展长序列训练。推荐系统中若有超大参数模型需处理长序列，可考虑类似并行策略，但需确保梯度完整聚合（论文指出当前未完成KV适配器梯度同步）。
训练系统设计原则：当显存成为长上下文瓶颈时，优先优化状态生命周期，而非单纯增加并行度。保留仅响应解码所需的状态，释放瞬态激活，并通过串行回放控制激活峰值。这种思路同样适用于大规模用户行为模型或Agent轨迹的离线RL训练。

Training | 2026-07-16 | cs.LG | score 8/10